ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search
ZGCM-1：面向数学与智能体搜索的全开源高效基础模型
🧭 高效训练 · Agentic Search ★ 深度解读
Zhongguancun Academy · Zhongguancun Institute of Artificial Intelligence
全开源 7B 模型，靠混合注意力、FP8/Muon 与 MDP 中训，在数学和 Agentic Search 上逼近大模型
📌 工作参考价值（5 点）
- 混合注意力 5:1 SWA/global 可在 256K 上下文将 KV cache 降 6.4x、吞吐提升 3.94x：适合电商多轮对话、长用户行为序列或长文档检索场景，用 7B 级模型支撑长上下文 Agent 而不过度消耗显存。
- 把交互轨迹改写为 MDP 状态-动作对做稠密监督，比整段模仿学习更利于训练 Agent 在搜索/推荐中做局部决策（如何时调用搜索、扩展 query、停止迭代）；可直接复用到电商导购 Agent 的工具调用数据构造。
- FP8+Muon+TWEO 组合实现约 4.2x pre-training time-to-loss，内部迭代模型可行；尤其 TWEO 抑制激活 outlier 是 FP8 稳定的关键，可在训练栈中尝试。
- SFT 数据质量裁剪：约剪掉一半候选，六基准均值 67.78→68.83，证明高质量数据胜于堆量；对电商话术/导购数据可借鉴严格去污和分层过滤。
- Agent 数据与 general 数据联合训练优于先 general 后 agentic 或只 agentic：对话式购物助手不应只用领域轨迹，需保留通用指令遵循能力。